ภาพรวมของ Generative AI ขั้นสูง ได้พัฒนาจากโมเดลเดี่ยวแบบแยกส่วน ไปสู่ระบบนิเวศหลายชั้นที่ขับเคลื่อนด้วย ระบบ AI เชิงประกอบการเปลี่ยนแปลงนี้ก้าวข้ามจากการทำนายโทเคนเชิงความน่าจะเป็นแบบง่าย ไปสู่ระบบที่ประสานการทำงานของโมเดลพื้นฐาน (FMs) ปลั๊กอินแบบโมดูลาร์ และการสังเคราะห์ข้ามรูปแบบ
อนุกรมวิธานของ Generative Stack
- ชั้นโครงสร้างพื้นฐาน: โครงสร้างฮาร์ดแวร์หลัก (GPUs/TPUs) และบริการคลาวด์ที่ให้พลังการประมวลผลมหาศาลสำหรับการฝึกและอนุมานความเร็วสูง
- ชั้นโมเดล: โมเดลพื้นฐาน (FMs) เช่น GPT-4, Llama 3 และ Stable Diffusion ที่ทำหน้าที่เป็นเครื่องยนต์เฉพาะทางสำหรับแต่ละรูปแบบ
- ชั้นประสานงาน: เฟรมเวิร์กที่จัดการตรรกะ การไหลของข้อมูล และการดึงข้อมูล เปลี่ยนผ่านโมเดลจากน้ำหนักที่ "หยุดนิ่ง" ไปสู่ระบบที่มี การรับรู้บริบทแบบเรียลไทม์.
การหลอมรวมของรูปแบบ
แนวโน้มทางเทคนิคมุ่งเน้นการรวมสถาปัตยกรรม โดยหลักคือ Transformer และ Diffusion model เพื่อให้มี latent space ร่วมกัน สิ่งนี้เปิดทางให้มีอินเทอร์เฟซแบบรวมเดียวที่ข้อความ รูปภาพ และวิดีโอถูกจัดการเป็นสายข้อมูลต่อเนื่อง ซึ่งแสดงทางคณิตศาสตร์เป็นการแมประหว่าง latent manifold ที่แตกต่างกัน $M_{text} \leftrightarrow M_{visual}$
วิวัฒนาการเชิงโครงสร้าง
เรากำลังก้าวจากโมเดลแบบ "Closed-Book" ที่พึ่งพาพารามิเตอร์ข้อมูลฝึก $\theta$ เพียงอย่างเดียว ไปสู่ระบบ "Open-Book" ที่ใช้สถานะสภาพแวดล้อมภายนอก $E$ เพื่อแก้โจทย์การใช้เหตุผลซับซ้อนผ่าน $P(y|x, E)$
การใช้งานด้วย Python